가상현실에서의 손 몰입이 현실 신체감각까지 바꾼다?
 |
| VR 속 가상의 손을 마주한 남성. 현실과 가상 사이, 뇌는 이 손을 ‘내 것’으로 받아들인다. 몰입의 경계를 넘나드는 순간이다. |
가짜 손이 내 손처럼 느껴졌다
거울 속 손이 움직인다. 그건 분명 내 손이 아닌데, 이상하게도… 진짜 내 손처럼 느껴진다. 손가락을 펴고, 주먹을 쥔다. 움직임은 정확히 일치하고, 뇌는 이 낯선 손을 '내 것'이라 인식하기 시작한다.
이 낯설고도 신기한 현상은 단순한 착각이 아니다. 독일 브레멘대학교 연구팀이 발표한 최신 연구에 따르면, 가상현실(VR) 환경에서의 손 움직임이 일정 수준의 사실성을 갖추면 뇌는 그것을 ‘내 손’으로 받아들인다. 단순히 ‘보고 있는’ 것이 아니라, 감각적으로 ‘소유하고 있는’ 느낌을 갖게 되는 것이다.
이 현상은 ‘신체 소유감(body ownership)’이라 불리며, 뇌과학과 심리학, 인간-컴퓨터 상호작용(HCI) 분야에서 주목받는 주제다. 이번 연구는 특히, 손가락 움직임의 ‘자연스러움’과 시선 방향과의 정렬이 이 소유감에 어떤 영향을 미치는지를 정밀하게 분석해 눈길을 끈다.
---
손가락이 ‘진짜처럼’ 움직이면 뇌도 속는다
연구는 총 30명의 참가자를 대상으로 진행됐다. 이들은 VR 헤드셋을 착용하고, 눈앞의 가상 공간에서 양손의 움직임을 관찰했다. 참가자들은 손가락 하나하나를 움직이며, 가상 손이 얼마나 자신의 실제 손과 동일하게 반응하는지를 느꼈다.
흥미로운 점은, 연구팀이 가상 손가락의 움직임에 '왜곡'을 일부러 추가했다는 점이다. 즉, 실제 손가락은 30도밖에 굽히지 않았지만, 가상 손은 60도 구부러진 것처럼 보이게 만들었다. 또는 손가락의 움직임을 미세하게 지연시키기도 했다.
그 결과는 명확했다. 가상 손의 움직임이 실제 손과 더 잘 일치할수록, 참가자들은 그 손을 ‘내 것’처럼 느꼈다. 반대로 움직임이 어색하거나, 타이밍이 미묘하게 어긋나면 소유감이 뚝 떨어졌다.
연구진은 특히 ‘속임수 손가락(distorted finger)’ 실험에서, 작은 각도의 왜곡은 쉽게 인식되지 않지만, 일정 수준을 넘으면 ‘이질감’을 유발한다는 사실을 발견했다. 다시 말해, 뇌는 어느 정도까지는 ‘왜곡’을 허용하지만, 일정 선을 넘으면 즉각 거부 반응을 보이는 것이다.
 |
| 왼쪽: 방음 스튜디오에서 VR 애플리케이션을 사용하는 참가자, 그리고 오른쪽: 안개가 추가적인 색상 요소를 제공하는 "숲" 환경 이미지. |
---
‘보고 있는 방향’도 중요하다
손의 움직임뿐만 아니라, 시선 방향과 손의 위치가 얼마나 일치하는지도 중요한 변수였다. 참가자들은 정면을 보며 손을 움직일 때보다, 고개를 돌려 옆에서 손을 볼 때 신체 소유감을 덜 느꼈다.
이는 VR에서의 ‘자기 위치 정렬(self-alignment)’이 얼마나 중요한지를 보여주는 결과다. 현실에서 우리는 언제나 자신의 손을 몸에 붙어 있는 것으로 인식하고 있기 때문에, 가상 손의 위치가 실제 위치와 어긋나면 뇌가 ‘이건 내 손이 아니다’라고 판단한다는 것이다.
이러한 결과는 향후 VR 인터페이스 설계에 있어 중요한 단서를 제공한다. 손의 반응 속도나 움직임의 정확도뿐 아니라, 시야 중심과 가상 신체의 일치도가 사용자 몰입도를 결정하는 핵심 요소로 작용한다는 의미다.
---
단순한 ‘착각’이 아니다
그렇다면 이런 신체 소유감은 단지 뇌가 ‘속아 넘어가는’ 착각에 불과할까?
연구진은 그렇지 않다고 말한다. 신체 소유감은 실제로 자율신경계 반응, 통증 지각, 운동 수행 능력 등 다양한 생리적·심리적 현상에 영향을 미친다. 예컨대, 가상 손이 다치면 진짜 손에도 통증을 느낀다는 보고가 있으며, 가상의 팔다리를 통해 운동을 학습한 경우 실제 수행 능력이 향상되기도 한다.
즉, “가짜 손을 내 손처럼 느낀다”는 것은 단순한 심리적 반응을 넘어, 신체 시스템 전체의 반응을 유도하는 촉발점이 될 수 있다.
이번 연구는 이를 정량적으로 측정하기 위해 자기보고 설문, 시각-운동 왜곡 감지율, 반응 시간 등 다각적인 데이터를 수집했다. 참가자들은 자신의 손가락 움직임이 가상 손과 얼마나 일치하는지, 왜곡이 느껴졌는지, 그리고 그 손을 얼마나 '자기 것처럼' 느꼈는지를 7점 척도로 평가했다.
---
VR의 몰입은 어디까지 가능한가
이번 연구는 단순한 기술 데모가 아니다. 가상현실 환경에서 얼마나 ‘현실감 있게 나 자신을 느낄 수 있는가’는 앞으로의 메타버스, 원격 작업, 의료 재활 등 다양한 분야에서 핵심 요소가 된다.
예를 들어, 뇌졸중 환자가 마비된 손 대신 가상의 손을 움직이면서 회복 훈련을 받는 경우, 그 손이 실제처럼 느껴져야 뇌의 운동 회로를 효과적으로 자극할 수 있다. 또는 원격 로봇을 조작할 때도, 조작하는 손이 마치 ‘내 손’처럼 느껴져야 정교한 제어가 가능하다.
하지만 이런 몰입감을 구현하려면 기술적으로 매우 정밀한 조정이 필요하다. 이번 연구는 그런 기술 설계에 있어 다음과 같은 기준을 제시한다:
* 손가락 움직임의 왜곡은 최소화하되, 사용자가 인식하지 못할 정도까지만 허용할 것
* 사용자의 실제 시야와 가상 손의 위치를 최대한 정렬할 것
* 정확한 반응 속도와 손 움직임 동기화가 가장 중요함
---
결론: 뇌를 속일 것인가, 설득할 것인가
연구는 이렇게 말한다. “VR에서의 몰입은 기술의 문제가 아니라, 감각과 인지의 문제다.” 즉, 단순히 고해상도 그래픽이나 빠른 렌더링 속도만으로는 몰입을 완성할 수 없다. 뇌가 진짜처럼 느낄 수 있도록, 감각과 행동이 정밀하게 조율되어야 한다.
가상 손가락 하나가 현실처럼 느껴지기 위해, 우리는 단순히 기술이 아닌 ‘지각과 자기 인식’이라는 더 깊은 층위를 건드려야 한다. 그리고 그 과정을 통해, VR은 단지 눈속임이 아닌 “감각의 재구성”이라는 새로운 차원에 도달할 수 있다.
---
출처 논문
Schwerg, M., Stratmann, T., & Lappe, M. (2025). Feeling a virtual hand: The effect of distorted finger movements and view position on the sense of ownership. *Virtual Reality, 29*(81).